QESChunker: A Single Objective Unifies Overlapping and Non-Overlapping Chunking for RAG
QESChunker：用问答证据监督统一重叠与非重叠 RAG 分块
🧭 RAG 分块 · 监督式索引构建
Alibaba Group · Taobao (China) Software Co., Ltd.
将 RAG 分块形式化为问答证据效用最大化的监督组合优化，非重叠用 DP 精确解，重叠用贪心近似解
📌 工作参考价值（4 点）
- RAG 知识库/商品文档分块别再只用固定长度或段落：沉淀业务侧 question–evidence pairs（客服问句-答案片段、售后手册标注、商品属性问答），用 QESChunker 思路以“完整证据召回率”为预算约束优化每个文档的 chunk 边界；非重叠版可用 DP 解，适合电商知识库规模。
- 重叠 chunk 的组合优化是 monotone submodular，贪心有 (1-1/√e) 近似，工程上可先用 LLM 生成 question-evidence 对，再做监督式 chunking，不必等真实 query 日志，冷启动友好。
- 论文验证指标是 complete-evidence recall，对应客服/导购 Agent 中“是否一次检索取回完整答案证据”，建议在业务评估里加这个指标，而不只看 top-k 命中。
- 混合 retriever 固定条件下该方法优于 heuristic，可作为 Agent 检索底座预处理：先离线构建 document-specific chunk index，不增加在线复杂度，适合商品手册、店铺政策等更新频率低的语料。